Flink 调度源码分析1：拓扑图创建与提交过程
在Flink中，拓扑图提交过程是将用户编写的数据处理逻辑转换为实际可执行的作业并提交到集群运行的过程。首先，用户编写Flink程序，定义数据源、转换操作和输出目标等。然后，Flink会将这些操作转换为一个有向无环图(DAG)，表示数据处理流程。接着，Flink会将DAG图优化并生成作业图，包括任务的
搭建PyFlink环境(2)
搭建PyFlink环境(2)
实验三-HBase数据库操作
第一步：首先登陆ssh，之前设置了无密码登陆，因此这里不需要密码；再切换目录至/usr/local/hadoop ；再启动hadoopssh localhostcd /usr/local/hadoop./sbin/start-dfs.sh输入命令jps，能看到NameNode,DataNode和Se
Flink window 源码分析4：WindowState
Flink window 源码分析4：WindowState。根据源码，分析了一些WindowState相关的问题。
学习笔记-大数据基础实训（python语言+可视化）
利用python从指定接口爬取广东省各个地市的气象数据，并对数据进行处理
数据仓库BW与大数据平台，到底如何取舍？
刷到这篇文章的同学，对这个问题有困惑，看看我说清楚了没有。
CentOS7安装教程----图文详解
选择新CD/DVD (IDE) ---->使用ISO映像文件（选择CentOS 7 镜像存放的位置）---->关闭。选择自动配置分区（也可选择我要配置分区，此处喜欢则自动配置分区）---->完成。选择linux（L）---->CentOS 7 64位---->下一步。创建新的虚拟机--->选择自定义
最佳实践！ StreamPark 在顺网科技的生产实践, 如何支撑大规模 Flink 作业
本文主要介绍顺网科技在使用 Flink 计算引擎中遇到的一些挑战，基于 StreamPark 作为实时数据平台如何来解决这些问题，从而大规模支持公司的业务。
Canal-adapter简单介绍及部分源码解析
Canal-adapter简单介绍及部分源码解析
基于Kylin的数据统计分析平台架构设计与实现
前言此项目是我在TP-LINK公司云平台部门做的一个项目，总体包括云上数据自动化统计流程的设计和组件的开发。目的是为了对云平台上的设备和用户数据做多维度的统计和分析，以及便于观察设备数据的历史趋势，让业务部门更好地做业务决策。整体的架构与数据流向如下图所示，采用Hive做数据仓库，使用Spark实现
视频号直播信用分总被扣？如何提高信用分？
随着视频号的规则愈加完善，许多主播经常在直播的时候被扣除信用分，以至于直播被限流、禁播等。许多用户还不太明白直播信用分是什么，为什么会被扣除信用分，又要如何恢复提高呢？如何查看直播信用分？用户进入视频号后，点击【创作者中心】，到【创作者服务】，再点击【违规查询】，再点击【直播】，即可查看自己的直播信
Anaconda安装教程（超详细版）
目录一、Anaconda简介二、运行环境三、安装Anaconda四、手动配置环境变量（重点）五、测试Anaconda环境是否配置成功一、Anaconda简介Anaconda，一个开源的Python发行版本，可用于管理Python及其相关包，包含了conda、Python等180多个科学包及其依赖项。
Pyspark读写csv,txt,json,xlsx,xml,avro等文件
Spark读写txt文件 Spark读写csv文件 Spark读写parquet文件 Spark读写json文件 Spark读写excel文件 Spark读写xml文件 Spark读写orc文件 Spark读写avro文件 Spark读写mysql中的表
十八、Flink自定义多并行Source
Flink自定义多并行Source
十二、Flink自定义 FlatMap 方法
Flink自定义FlatMap方法
ZooKeeper
ZooKeeper总结
Flink - Java篇
文章目录前言一、概述1 Flink是什么2 架构分层3 数据处理流水线4 运行组件TaskManagerJobManagerResourceManagerDispatcher5 其他流式计算框架二、入门与使用1 Flink基本安装1.1 Linux1.2 Java1.3 Scala（待补充）1.4
【数仓建设系列之一】什么是数据仓库？
数据仓库是一个存储和管理大量结构化和非结构化数据的存储集合，它以主题为向导，通过整合来自不同数据源下的数据(比如各业务数据，日志文件数据等)，解决企业数据孤岛，为企业提供统一的数据视图。通过构建不同时间范围或不同业务主题下的分析报告和数据报表等，为企业决策提供一定程度上的支持和帮助。
十三、Flink使用local模式执行任务 并开启Flink的webUI
Flink使用local模式执行任务并开启Flink的webUI
拉链表的制作过程
**背景：**对于一些维度表，数据量特别大，每天又会有新增或者修改的数据，但是这部分数据总数据量的比重不大。如果做成每日全量数据，会导致大量的重复数据，占用存储资源；如果做成全量最新，则会缺少历史数据。针对这种情况，可以考虑使用拉链表。**设计思路：**每行数据加上两个字段，开始时间，结束时间。初始
